LODESTAR: Trustworthy Entropy Is Navigated, Not Merely Measured -- Reinforced Polarizer Keeps a Frozen LLM from Being Confidently Misled by the Wrong Evidence
LODESTAR：可信熵是导航而非测量——强化极化器防止冻结 LLM 被错误证据自信误导
🧭 RAG 答案选择 · RL 训练提示干预
Research Center for Information Technology Innovation, Academia Sinica, Taiwan
用 RL 训练固定 prompt 干预串，提升冻结 LLM 在 RAG 答案选择中对误导证据的鲁棒性
📌 工作参考价值（4 点）
- 生成式推荐/搜索候选重排：用 frozen LLM 的预测熵筛选候选时，注意低熵可能因上下文误导而不可靠。可在 prompt 前加一个固定的“polarizer”提示串（如“请先检查证据可信度”类），用离线 RL 训练，不改模型权重，在线零成本提高鲁棒性。
- 训练技巧：RL 奖励可来自 gold 标签与 LLM judge 组合，离线构建标签，推理时不依赖 judge。适合业务中无实时标注但离线有部分人工/gold 数据的场景。
- 架构选择：保持 LLM 冻结，只优化一个短的自然语言干预，比 fine-tune LLM 成本低且易于 A/B 测试；推荐系统可对不同候选池/域分别训练 polarizer 字符串。
- Agent 检索后答案融合：在 Agent 的 retrieve-then-answer 流程中，对多个检索证据采用基于熵的选择时，可引入干预提升对误导证据的韧性；消融实验证明能降低误导段落被读取概率。